How to identify and segment camouflaged objects from the background is challenging. Inspired by the multi-head self-attention in Transformers, we present a simple masked separable attention (MSA) for camouflaged object detection. We first separate the multi-head self-attention into three parts, which are responsible for distinguishing the camouflaged objects from the background using different mask strategies. Furthermore, we propose to capture high-resolution semantic representations progressively based on a simple top-down decoder with the proposed MSA to attain precise segmentation results. These structures plus a backbone encoder form a new model, dubbed CamoFormer. Extensive experiments show that CamoFormer surpasses all existing state-of-the-art methods on three widely-used camouflaged object detection benchmarks. There are on average around 5% relative improvements over previous methods in terms of S-measure and weighted F-measure.

最近的作品为张量网络结构搜索（TN-SS）付出了很多努力，旨在选择合适的张量网络（TN）结构，涉及TN级别，格式等，以进行分解或学习任务。在本文中，我们考虑了TN-SS的实用变体，称为TN置换搜索（TN-PS），其中我们在其中搜索从张量模式到TN顶点（核心张量）的良好映射以进行紧凑的TN表示。我们对TN-PS进行了理论研究，并提出了一种实际效率的算法来解决该问题。从理论上讲，我们证明了TN-PS的搜索空间的计数和度量属性，首次分析TN结构对这些唯一属性的影响。从数字上讲，我们提出了一种新颖的元元素算法，其中搜索是通过在我们理论中建立的邻域中随机采样来完成的，然后将其反复更新邻域直至收敛。数值结果表明，新算法可以减少广泛基准中TNS所需的模型大小，这意味着TNS的表达能力的提高。此外，新算法的计算成本明显小于〜\ cite {li2020进化}中的计算成本。

在本文中，我们通过将无线电信息结合到最先进的检测方法中提出了一种无线电辅助人类检测框架，包括基于锚的oneStage检测器和两级检测器。我们从无线电信号中提取无线电定位和标识符信息以帮助人类检测，由于哪种错误阳性和假否定的问题可能会大大缓解。对于两个探测器，我们使用基于无线电定位的置信度评分修订来提高检测性能。对于两级检测方法，我们建议利用无线电定位产生的区域提案，而不是依赖于区域提案网络（RPN）。此外，利用无线电标识符信息，还提出了具有无线电定位约束的非最大抑制方法，以进一步抑制假检测并减少错过的检测。模拟Microsoft Coco DataSet和CALTECH步行数据集的实验表明，借助无线电信息可以改善平均平均精度（地图）和最先进的检测方法的错过率。最后，我们在现实世界的情况下进行实验，以展示我们在实践中的提出方法的可行性。

使用毫米波（MMWAVE）信号的人类手势识别提供有吸引力的应用，包括智能家居和车载界面。虽然现有的作品在受控设置下实现有前途的性能，但实际应用仍然有限，因为需要密集数据收集，适应新域时的额外培训努力（即环境，人员和地点）和实时识别的表现不佳。在本文中，我们提出了Di-Gesture，一个独立于域和实时MMWAVE手势识别系统。具体地，我们首先导出与具有空间时间处理的人体手势对应的信号变化。为了增强系统的稳健性并减少数据收集工作，我们根据信号模式与手势变化之间的相关性设计数据增强框架。此外，我们提出了一种动态窗口机制来自动且准确地执行手势分割，从而能够实时识别。最后，我们建立了一种轻量级神经网络，以从用于手势分类的数据中提取空间信息。广泛的实验结果表明，Di-Gesture分别为新用户，环境和地点的平均精度为97.92％，99.18％和98.76％。在实时场景中，Di-Gesutre的准确性达到97％以上，平均推断时间为2.87ms，这表明了我们系统的优越稳健性和有效性。

Ensemble learning serves as a straightforward way to improve the performance of almost any machine learning algorithm. Existing deep ensemble methods usually naively train many different models and then aggregate their predictions. This is not optimal in our view from two aspects: i) Naively training multiple models adds much more computational burden, especially in the deep learning era; ii) Purely optimizing each base model without considering their interactions limits the diversity of ensemble and performance gains. We tackle these issues by proposing deep negative correlation classification (DNCC), in which the accuracy and diversity trade-off is systematically controlled by decomposing the loss function seamlessly into individual accuracy and the correlation between individual models and the ensemble. DNCC yields a deep classification ensemble where the individual estimator is both accurate and negatively correlated. Thanks to the optimized diversities, DNCC works well even when utilizing a shared network backbone, which significantly improves its efficiency when compared with most existing ensemble systems. Extensive experiments on multiple benchmark datasets and network structures demonstrate the superiority of the proposed method.

我们提出Segnext，这是一种简单的卷积网络体系结构，用于语义分割。由于自我注意力在编码空间信息中的效率，基于变压器的最新模型已主导语义分割领域。在本文中，我们表明卷积注意是一种比变形金刚中的自我注意机制更有效的编码上下文信息的方法。通过重新检查成功分割模型所拥有的特征，我们发现了几个关键组件，从而导致分割模型的性能提高。这促使我们设计了一个新型的卷积注意网络，该网络使用廉价的卷积操作。没有铃铛和哨子，我们的Segnext显着提高了先前最先进的方法对流行基准测试的性能，包括ADE20K，CityScapes，Coco-stuff，Pascal VOC，Pascal Context和ISAID。值得注意的是，segnext优于w/ nas-fpn的效率超过lavenet-l2，在帕斯卡VOC 2012测试排行榜上仅使用1/10参数，在Pascal VOC 2012测试排行榜上达到90.6％。平均而言，与具有相同或更少计算的ADE20K数据集上的最新方法相比，Segnext的改进约为2.0％。代码可在https://github.com/uyzhang/jseg（jittor）和https://github.com/visual-cratch-network/segnext（pytorch）获得。

蒙面图像建模（MIM）在各种视觉任务上取得了令人鼓舞的结果。但是，学到的表示形式的有限可区分性表现出来，使一个更强大的视力学习者还有很多值得一试。为了实现这一目标，我们提出了对比度蒙面的自动编码器（CMAE），这是一种新的自我监督的预训练方法，用于学习更全面和有能力的视觉表示。通过详细统一的对比度学习（CL）和掩盖图像模型（MIM），CMAE利用了它们各自的优势，并以强大的实例可辨别性和局部的可感知来学习表示形式。具体而言，CMAE由两个分支组成，其中在线分支是不对称的编码器编码器，而目标分支是动量更新的编码器。在培训期间，在线编码器从蒙面图像的潜在表示中重建了原始图像，以学习整体特征。馈送完整图像的目标编码器通过其在线学习通过对比度学习增强了功能可区分性。为了使CL与MIM兼容，CMAE引入了两个新组件，即用于生成合理的正视图和特征解码器的像素移位，以补充对比度对的特征。多亏了这些新颖的设计，CMAE可以有效地提高了MIM对应物的表示质量和转移性能。 CMAE在图像分类，语义分割和对象检测的高度竞争基准上实现了最先进的性能。值得注意的是，CMAE-BASE在Imagenet上获得了$ 85.3 \％$ $ TOP-1的准确性和$ 52.5 \％$ MIOU的ADE20K，分别超过了$ 0.7 \％\％$ $和$ 1.8 \％$ $。代码将公开可用。

Previous knowledge distillation (KD) methods for object detection mostly focus on feature imitation instead of mimicking the prediction logits due to its inefficiency in distilling the localization information. In this paper, we investigate whether logit mimicking always lags behind feature imitation. Towards this goal, we first present a novel localization distillation (LD) method which can efficiently transfer the localization knowledge from the teacher to the student. Second, we introduce the concept of valuable localization region that can aid to selectively distill the classification and localization knowledge for a certain region. Combining these two new components, for the first time, we show that logit mimicking can outperform feature imitation and the absence of localization distillation is a critical reason for why logit mimicking underperforms for years. The thorough studies exhibit the great potential of logit mimicking that can significantly alleviate the localization ambiguity, learn robust feature representation, and ease the training difficulty in the early stage. We also provide the theoretical connection between the proposed LD and the classification KD, that they share the equivalent optimization effect. Our distillation scheme is simple as well as effective and can be easily applied to both dense horizontal object detectors and rotated object detectors. Extensive experiments on the MS COCO, PASCAL VOC, and DOTA benchmarks demonstrate that our method can achieve considerable AP improvement without any sacrifice on the inference speed. Our source code and pretrained models are publicly available at https://github.com/HikariTJU/LD.

区分观点的重要性已经证明对半监督多视图学习模型非常有用。但是，现有策略不能利用半监督信息，只区分从数据特征的角度来看视图的重要性，这通常受到低质量观点的影响，然后导致性能差。在本文中，通过建立标记数据与不同视图的重要性之间的联系，我们提出了一种自动加权策略来评估从标签视角来评估视图的重要性，以避免不重要或低质量视图的负面影响。基于此策略，我们提出了一种转导半监督自动加权多视图分类模型。可以通过标记的数据有效地确定所提出的模型的初始化，这是实用的。该模型分离为三个小规模的子问题，可以通过局部收敛保证有效地优化。分类任务的实验结果表明，与其他相关方法相比，该方法以最低计算成本实现最佳或次优的分类精度，重量变更实验表明，我们所提出的策略可以比其他相关策略更准确地区分视图重要性在具有低质量视图的多视图数据集上。

张量鲁棒主成分分析（TRPCA）是机器学习和计算机视觉中的基本模型。最近，张力列车（TT）分解已经过验证了捕获张量恢复任务的全局低秩相关性。然而，由于现实世界应用中的大规模张量数据，之前的TRPCA模型经常遭受高计算复杂性。在这封信中，我们提出了一个高效的TRPCA，在Tucker和TT的混合模型下。具体地，理论上我们揭示了原始大张量的TT核规范（TTNN）可以通过Tucker压缩格式等同地转换为更小的张量，从而显着降低了奇异值分解（SVD）的计算成本。合成和现实世界张量数据的数值实验验证了所提出的模型的优越性。